在人工智慧領域中，序列建模將重點從靜態的快照轉移到 時間流。標準機器學習任務通常假設資料點是 獨立且同分布（IID），表示樣本的順序不會影響結果。

序列建模明確拒絕此觀點，專注於三大核心支柱：

• 違反 排列不變性：在表格資料中，欄位順序是任意的。在序列中，順序是主要特徵。將「The cat ate the rat」換成「The rat ate the cat」會根本性地改變 語義基礎真實 即使詞彙相同。
• 自回歸 特性：我們假設時間 $t$ 的觀測值在數學上取決於其歷史（$t-1, t-2, \dots, 1$）。這需要轉移機率來捕捉資訊如何演變。
• 可變長度映射：與固定 28x28 像素網格不同，像句子或地震波這樣的序列是 彈性的。模型必須處理長度為 $N$ 的輸入並產生長度為 $M$ 的輸出，同時使用一致的參數。